Ông tên thật là Nguyễn Khắc Xứng, hay Nguyễn Văn Xứng, sinh ngày 6 tháng 3 năm 1911 ở thôn Bình Đê, xã Thượng Cốc, huyện Gia Lộc (này là thôn Bình Đê (Cốc Cả), xã Gia Khánh, huyện Gia Lộc, tỉnh Hải Dương.

Song thân của ông là ông bà Nguyễn Năng Việt và Nguyễn Thị Mùi có tám người con, trong đó 4 người con trai là Nguyễn Khoái (Lê Thành Lập), Nguyễn Khắc Xứng (Lê Thanh Nghị), Nguyễn Năng Hách (1914-1981, Chủ tịch Hải Dương 1947-1951, Bí thư Hải Dương 1950-1951), Nguyễn Thiệu Ước (Lê Thành Ân). Cả bốn người về sau đều là những chính khách quan trọng trong chính quyền Việt Nam.

Năm 16 tuổi, ông ra Hải Phòng làm thợ điện ở Nhà máy Điện Cửa Cấm. Sau khi bị thất nghiệp, ông ra vùng mỏ làm ở Nhà máy Điện Cọc 5, rồi trở về Vàng Danh làm phu mỏ. Tại đây, năm 1928, ông bắt đầu tham gia hoạt động cách mạng, năm 1929 gia nhập Hội Việt Nam Thanh niên Cách mạng. Năm 1930, ông được kết nạp vào Đảng Cộng sản Đông Dương.

Tháng 5 năm 1930, ông bị chính quyền thực dân Pháp bắt giam tại nhà tù Hải Phòng, sau đó bị tuyên án tù chung thân và bị đày ra Côn Đảo. Năm 1936, ông được ân xá nhưng vẫn bị quản thúc tại quê nhà. Để sinh kế, ông xin làm ở Nhà máy Nước Ninh Giang đông thời để có điều kiện tiếp tục hoạt động cách mạng. Không bao lâu sau, ông bắt được liên lạc với tổ chức, hoạt động bí mật ở Hải Dương và Hải Phòng, xây dựng nhiều cơ sở đảng, tham gia Thành ủy Hà Nội. Cuối năm 1937, ông được cử về hoạt động ở Hải Dương. Giữa năm 1939, ông công tác ở Xứ ủy Bắc Kỳ, tham gia Ban cán sự Liên tỉnh B.

Đầu năm 1940, ông bị bắt lần thứ hai, bị kết án 5 năm tù, đày tại nhà đày Sơn La. Đầu năm 1945, ông ra tù, tiếp tục hoạt động và được chỉ định vào Thường vụ Xứ ủy Bắc Kỳ.